对脑外伤(TBI)患者的准确预后很难为治疗,患者管理和长期护理提供信息至关重要。年龄,运动和学生反应性,缺氧和低血压以及计算机断层扫描(CT)的放射学发现等患者特征已被确定为TBI结果预测的重要变量。 CT是临床实践中选择的急性成像方式,因为其获取速度和广泛的可用性。但是,这种方式主要用于定性和半定量评估,例如马歇尔评分系统,该系统容易受到主观性和人为错误。这项工作探讨了使用最先进的,深度学习的TBI病变分割方法从常规获得的医院入院CT扫描中提取的成像生物标志物的预测能力。我们使用病变体积和相应的病变统计作为扩展TBI结果预测模型的输入。我们将我们提出的功能的预测能力与马歇尔分数进行比较,并与经典的TBI生物标志物配对。我们发现,在预测不利的TBI结果时,自动提取的定量CT功能的性能与Marshall分数相似或更好。利用自动地图集对齐,我们还确定额叶外病变是不良预后的重要指标。我们的工作可能有助于更好地理解TBI,并提供有关如何使用自动化神经影像分析来改善TBI后预测的新见解。
translated by 谷歌翻译
Recent work attributes progress in NLP to large language models (LMs) with increased model size and large quantities of pretraining data. Despite this, current state-of-the-art LMs for Hebrew are both under-parameterized and under-trained compared to LMs in other languages. Additionally, previous work on pretrained Hebrew LMs focused on encoder-only models. While the encoder-only architecture is beneficial for classification tasks, it does not cater well for sub-word prediction tasks, such as Named Entity Recognition, when considering the morphologically rich nature of Hebrew. In this paper we argue that sequence-to-sequence generative architectures are more suitable for LLMs in the case of morphologically rich languages (MRLs) such as Hebrew. We demonstrate that by casting tasks in the Hebrew NLP pipeline as text-to-text tasks, we can leverage powerful multilingual, pretrained sequence-to-sequence models as mT5, eliminating the need for a specialized, morpheme-based, separately fine-tuned decoder. Using this approach, our experiments show substantial improvements over previously published results on existing Hebrew NLP benchmarks. These results suggest that multilingual sequence-to-sequence models present a promising building block for NLP for MRLs.
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
We propose an algorithm for learning a conditional generative model of a molecule given a target. Specifically, given a receptor molecule that one wishes to bind to, the conditional model generates candidate ligand molecules that may bind to it. The distribution should be invariant to rigid body transformations that act $\textit{jointly}$ on the ligand and the receptor; it should also be invariant to permutations of either the ligand or receptor atoms. Our learning algorithm is based on a continuous normalizing flow. We establish semi-equivariance conditions on the flow which guarantee the aforementioned invariance conditions on the conditional distribution. We propose a graph neural network architecture which implements this flow, and which is designed to learn effectively despite the vast differences in size between the ligand and receptor. We evaluate our method on the CrossDocked2020 dataset, attaining a significant improvement in binding affinity over competing methods.
translated by 谷歌翻译
进化计算(EC)已被证明能够快速训练深人造神经网络(DNNS)来解决增强学习(RL)问题。虽然遗传算法(GA)非常适合利用既不具有欺骗性也不稀疏的奖励功能,但当奖励函数是这些功能时,它会挣扎。为此,在某些情况下,新颖的搜索(NS)已被证明能够超越梯度跟随优化器,而在其他情况下则表现不佳。我们提出了一种新算法:探索 - 探索$ \ gamma $ - 适应学习者($ e^2 \ gamma al $或eyal)。通过保留动态大小的寻求新颖的代理商的利基市场,该算法可以维持人口多样性,并在可能的情况下利用奖励信号并探索其他奖励信号。该算法将GA的剥削能力和NS的勘探能力结合在一起,同时保持其简单性和优雅性。我们的实验表明,在大多数情况下,Eyal在与GA相当的情况下都胜过NS - 在某些情况下,它可以均优于两者。 Eyal还允许用其他算法(例如演化策略和惊喜搜索)代替利用组件(GA)和探索组件(NS)(NS),从而为未来的研究打开了大门。
translated by 谷歌翻译
自然语言处理(NLP)算法正在迅速改善,但在应用于分布的示例时通常会挣扎。减轻域间隙的突出方法是域的适应性,其中在源域上训练的模型适应了新的目标域。我们提出了一种新的学习设置,``从头开始适应域名'',我们认为这对于以隐私的方式将NLP的覆盖范围扩展到敏感域至关重要。在此设置中,我们旨在有效地从一组源域中注释数据,以便训练有素的模型在敏感的目标域上表现良好,从而从中无法从中获得注释。我们的研究将这种具有挑战性的设置的几种方法比较,从数据选择和域适应算法到主动学习范式,在两个NLP任务上:情感分析和命名实体识别。我们的结果表明,使用上述方法可以缓解域间隙,并将其组合进一步改善结果。
translated by 谷歌翻译
图中最短的路径问题是理论和应用的基石。现有的工作是边缘重量访问时间,但通常会忽略边缘重量计算时间。在本文中,我们提出了一个加权有向图的广义框架,其中每个边缘的成本可以通过多个估计器动态估计,该估计器提供不同的成本范围和运行时间。这引发了几个通用的最短路径问题,可以优化路径成本的不同方面,同时需要保证成本不确定性,从而为建模现实问题提供了更好的基础。我们提供完整的,任何时间来解决这些问题,并提供解决方案质量的保证。
translated by 谷歌翻译
文本分类在许多真实世界的情况下可能很有用,为最终用户节省了很多时间。但是,构建自定义分类器通常需要编码技能和ML知识,这对许多潜在用户构成了重大障碍。为了提高此障碍,我们介绍了标签侦探,这是一种免费的开源系统,用于标记和创建文本分类器。该系统对于(a)是一个无代码系统是独一无二的分类器在几个小时内,(c)开发用于开发人员进行配置和扩展。通过开放采购标签侦探,我们希望建立一个用户和开发人员社区,以扩大NLP模型的利用率。
translated by 谷歌翻译
通过滚动式摄像机获得的视频导致空间延伸的帧。在快速相机/场景动作下,这些扭曲变得很重要。 RS的撤消效果有时被称为空间问题,需要对象进行整流/流离失所,以生成其正确的全局快门(GS)帧。但是,RS效应的原因是固有的,而不是空间。在本文中,我们为RS问题提出了一个时空解决方案。我们观察到,尽管它们的XY帧,RS视频及其相应的GS视频之间存在严重差异,但往往共享完全相同的XT片 - 直到已知的子帧时间变化。此外,尽管每个视频中都有强烈的时间别名,但它们共享相同的小型2D XT-Patches的分布。这允许使用RS输入视频施加的视频特定约束来限制GS输出视频。我们的算法由3个主要组成部分组成:(i)使用现成方法(通过常规视频序列训练)在连续的RS帧之间进行密集的时间上采样,从中我们提取GS“建议”。 (ii)学习使用专用Mergenet正确合并此类GS的“建议”。 (iii)特定于视频的零拍优化,该优化构成了GS输出视频和RS输入视频之间XT-Patches的相似性。我们的方法在基准数据集上获得了最新的结果,尽管在小型合成RS/GS数据集上进行了培训,但在数值和视觉上都获得了最新结果。此外,它可以很好地概括到具有运动类型的新的复杂RS视频(例如,复杂的非刚性动作)之外的运动类型 - 竞争对更多数据训练的竞争方法的视频无法很好地处理。我们将这些概括功能归因于外部和内部约束的组合。
translated by 谷歌翻译
强化学习(RL)的工作负载需要臭名昭著的时间来训练,因为在运行时间从模拟器收集了大量样本。不幸的是,群集扩展方法仍然很昂贵,并且在GPU计算之间来回切换时,模拟器的常用CPU实现会诱导高空开销。我们探索两种优化,通过增加GPU利用率来提高RL数据收集效率:(1)GPU矢量化:在GPU上平行模拟,以增加硬件并行性,以及(2)模拟器内核融合:融合多个模拟步骤,以在单个GPU内核中运行。启动以减少全局内存带宽要求。我们发现,与常用的CPU模拟器相比,GPU矢量化最多可达到$ 1024 \ times $速度。我们介绍了不同实现的性能,并表明,对于简单的模拟器,GPU矢量化的ML编译器实现(XLA)通过将CPU从重复的Python降低到DL Backend API呼叫来优于DNN Framework(Pytorch)$ 13.4 \ times $。我们证明,带有简单模拟器的模拟器内核融合加速度为$ 11.3 \ times $,并且随着模拟器复杂性在内存带宽要求方面的增加,增加了$ 1024 \ times $。我们表明,来自模拟器内核融合的加速度是正交的,可以与GPU矢量化结合,从而导致乘法加速。
translated by 谷歌翻译